Sau khi cho ra mắt album Giáng sinh đầu tiên của cô, Christmas in the Sand (2012) và tham gia phần nhạc phim cho Safe Haven (2013) trong bài hát song ca cùng Gavin DeGraw mang tên "We Both Know", Caillat bắt tay vào khâu thu âm cho album mới vào mùa hè năm 2013 với chủ đề "rung động những năm 70" cùng nhà sản xuất John Shanks. Nó được dự định phát hành vào tháng 11 năm 2013, tuy vậy, sau khi bàn bạc cùng Ryan Tedder, Caillat quyết định thu âm một album với giai điệu "pop, mang tiết tấu nhanh và dance" hơn.[3] Caillat cũng đồng thời làm việc cùng với nhà sản xuất và sáng tác người Mỹ Kenneth "Babyface" Edmonds cho album lần này, cô giải thích rằng, "Tôi thực hiện 4 hay 5 bài hát. Tôi quý anh ấy như là một nhà sản xuất và sáng tác đại tài. Tôi chỉ cần bảo anh ấy bất cứ phong cách nào mà tôi cảm thấy có hứng và chúng tôi cứ thế mà sáng tác thôi. Anh ấy hệt như một vị thánh trong việc sản xuất dòng nhạc R&B. Bài hát đầu tiên mà chúng tôi viết cùng nhau là một bài hát hoàn toàn mang giai điệu folk. Nó còn có cả đàn banjo trong đó nữa! Bài hát kế tiếp sẽ là R&B-pop và bản tiếp sau mà chúng tôi thực hiện hoàn toàn là một bài ballad chơi trên dương cầm, không có hòa âm - mà chỉ hoàn toàn trung thực và nhạy cảm mà thôi."[3]

Bài hát mang giai điệu synthpop mang tên "Hold On" được phát hành dưới dạng đĩa đơn đầu tiên trích từ album. Dù vậy, nó không thể gây được hiệu ứng trên các bảng xếp hạng, album này vì thế cũng bị hoãn lại. Caillat và hãng đĩa cho rằng họ nên tiếp tục việc sản xuất để xem có bất cứ tín hiệu nào tốt hơn hay không. Phản hồi này làm Caillat thất vọng khi cô bị chính hãng đĩa từ chối và khuyên cô nên tìm cho mình "các thể loại âm nhạc mới" trong album tiếp theo. Sau đó, cô viết hơn 60 bài hát cho album lần này.[4] Cô chia sẻ: "Khi bị cho rằng công sức của bạn là chưa đủ -- để trở nên tốt hơn, để giống như những nghệ sĩ nhạc pop ở ngoài kia với những bộ cánh quyến rũ và chỉnh giọng của họ theo Auto-tune -- khi bị so sánh với một ai đó quá khác biệt, điều đó khiến tôi bị tổn thương".[5] Sau đó, Caillat quyết định phát hành một đĩa mở rộng trước khi phát hành album, khi khẳng định rằng "12 bài hát [là] quá nhiều để nghe qua cùng một lúc. Khi tôi mua một bản ghi âm nào đó, tôi chỉ nghe đến năm bài hát là cùng, sau đó tôi không muốn nghe thêm nửa còn lại của bản ghi âm đó nữa. Mọi người có thể nghe trước năm bài hát đầu tiên, để họ phải lòng với chúng, hiểu tường tận chúng và để vài tháng sau đó, họ sẽ có nửa còn lại của bản ghi âm đó để tải về"."[5] Để quảng bá cho "Gypsy Heart: Side A", "Try" là đĩa đơn duy nhất được trích từ EP này[5] và được phát hành trên các Cửa hàng iTunes dưới dạng "Đĩa đơn của tuần" trong tuần lễ từ ngày 9 đến ngày 16 tháng 6 năm 2014 và được phát hành trên các trạm phát thanh chính vào đầu tháng 9.[6]